Bù chuyển động là gì? Các bài nghiên cứu khoa học liên quan

Khái niệm bù chuyển động

Bù chuyển động (motion compensation) là một kỹ thuật xử lý tín hiệu được sử dụng để mô tả và khai thác sự thay đổi vị trí của các đối tượng trong chuỗi hình ảnh theo thời gian. Trong bối cảnh video số, bù chuyển động cho phép biểu diễn sự khác biệt giữa các khung hình liên tiếp thông qua các vector chuyển động, thay vì phải mã hóa lại toàn bộ thông tin hình ảnh của từng khung hình.

Về bản chất, bù chuyển động dựa trên giả định rằng nội dung của cảnh quay thay đổi chậm theo thời gian, và phần lớn sự khác biệt giữa hai khung hình liền kề xuất phát từ chuyển động của camera hoặc của các đối tượng trong cảnh. Giả định này đúng với đa số video tự nhiên như phim, truyền hình, giám sát hay hội nghị trực tuyến.

Bù chuyển động không phải là một kỹ thuật độc lập mà thường hoạt động kết hợp với các bước khác trong chuỗi xử lý video, bao gồm ước lượng chuyển động, biến đổi (transform), lượng tử hóa và mã hóa entropy. Trong toàn bộ chuỗi này, bù chuyển động đóng vai trò làm giảm dư thừa theo thời gian (temporal redundancy), một trong ba loại dư thừa chính của tín hiệu video.

Vai trò của bù chuyển động trong nén video

Nén video hiện đại dựa trên việc loại bỏ các thông tin không cần thiết hoặc ít quan trọng đối với cảm nhận thị giác của con người. Trong đó, dư thừa theo thời gian chiếm tỷ lệ rất lớn do các khung hình liên tiếp thường có nội dung gần giống nhau. Bù chuyển động cho phép khai thác trực tiếp đặc điểm này bằng cách dự đoán khung hình hiện tại từ các khung tham chiếu trước hoặc sau.

Thay vì mã hóa toàn bộ khung hình, bộ mã hóa chỉ cần lưu trữ các vector chuyển động và phần sai khác giữa khung dự đoán và khung thực tế. Phần sai khác này thường có biên độ nhỏ hơn nhiều so với tín hiệu gốc, do đó có thể nén hiệu quả hơn. Cách tiếp cận này giúp giảm đáng kể tốc độ bit mà vẫn duy trì chất lượng hình ảnh.

Vai trò của bù chuyển động có thể được minh họa thông qua so sánh giữa hai phương pháp mã hóa:

• Mã hóa nội khung (intra-frame): mỗi khung hình được mã hóa độc lập.
• Mã hóa liên khung (inter-frame): khung hình được dự đoán từ các khung khác bằng bù chuyển động.

Bảng dưới đây cho thấy sự khác biệt cơ bản giữa hai phương pháp này:

Tiêu chí	Mã hóa nội khung	Mã hóa liên khung (có bù chuyển động)
Dư thừa theo thời gian	Không khai thác	Khai thác hiệu quả
Tốc độ bit	Cao	Thấp hơn đáng kể
Độ phức tạp	Thấp	Cao hơn

Nguyên lý cơ bản của ước lượng chuyển động

Ước lượng chuyển động là bước tiền đề của bù chuyển động, nhằm xác định cách mà các vùng trong khung hình đã di chuyển giữa các thời điểm khác nhau. Quá trình này thường bắt đầu bằng việc chia khung hình thành các khối hình chữ nhật có kích thước xác định, ví dụ 16×16 hoặc 8×8 điểm ảnh.

Đối với mỗi khối trong khung hiện tại, thuật toán sẽ tìm kiếm trong một vùng xác định của khung tham chiếu để tìm ra khối có mức độ tương đồng cao nhất. Mức độ tương đồng thường được đánh giá bằng các hàm chi phí như tổng sai khác tuyệt đối (SAD) hoặc tổng sai khác bình phương (SSD).

Kết quả của quá trình ước lượng là một vector chuyển động biểu diễn độ dịch chuyển theo phương ngang và dọc của khối. Các vector này được sử dụng trực tiếp trong bước bù chuyển động để tái tạo khung dự đoán. Quy trình cơ bản của ước lượng chuyển động có thể tóm tắt như sau:

1. Chia khung hình thành các khối.
2. Xác định vùng tìm kiếm trong khung tham chiếu.
3. Tính hàm chi phí cho từng vị trí ứng viên.
4. Chọn vị trí có chi phí nhỏ nhất.

Mô hình toán học của bù chuyển động

Mô hình toán học của bù chuyển động mô tả mối quan hệ giữa các điểm ảnh trong khung hiện tại và khung tham chiếu. Giả sử chuyển động của một khối là tịnh tiến, giá trị điểm ảnh dự đoán có thể được lấy trực tiếp từ khung tham chiếu tại vị trí đã được dịch chuyển bởi vector chuyển động.

Biểu thức toán học thường được sử dụng để mô tả quá trình này như sau:

$\hat{I}_t(x, y) = I_{t-1}(x + v_x, y + v_y)$

Trong đó $I_{t-1}$ là khung tham chiếu, $(v_x, v_y)$ là vector chuyển động, và $\hat{I}_t$ là khung dự đoán. Sai khác giữa khung thực tế và khung dự đoán được gọi là tín hiệu dư (residual), sẽ được tiếp tục xử lý bằng các bước biến đổi và lượng tử hóa.

Mặc dù mô hình trên giả định chuyển động tuyến tính và đồng nhất trong mỗi khối, nó vẫn đủ hiệu quả cho phần lớn các ứng dụng thực tế. Các mô hình phức tạp hơn, như chuyển động affine hoặc phi tuyến, chỉ được sử dụng trong các hệ thống chuyên biệt do chi phí tính toán cao.

Các phương pháp chia khối và độ phân giải chuyển động

Trong các hệ thống bù chuyển động, cách chia khối ảnh có ảnh hưởng trực tiếp đến độ chính xác dự đoán và độ phức tạp tính toán. Các chuẩn nén video ban đầu thường sử dụng kích thước khối cố định, phổ biến nhất là macroblock 16×16 điểm ảnh. Cách tiếp cận này đơn giản, dễ cài đặt và phù hợp với phần cứng hạn chế.

Tuy nhiên, chuyển động trong video thực tế thường không đồng nhất trên toàn khối. Vì vậy, các chuẩn hiện đại cho phép chia khối linh hoạt với nhiều kích thước khác nhau, từ các khối lớn cho vùng nền ít chuyển động đến các khối nhỏ cho vùng có chuyển động phức tạp. Cách chia này giúp cải thiện chất lượng dự đoán nhưng làm tăng số lượng vector chuyển động cần mã hóa.

Bên cạnh kích thước khối, độ phân giải của vector chuyển động cũng là yếu tố quan trọng. Thay vì chỉ cho phép dịch chuyển theo đơn vị điểm ảnh nguyên, nhiều hệ thống hỗ trợ độ phân giải nửa điểm ảnh hoặc phần tư điểm ảnh thông qua nội suy. Điều này giúp mô tả chuyển động mượt hơn, đặc biệt trong các cảnh có chuyển động chậm hoặc camera lia.

• Khối lớn: giảm số vector, nhưng dễ sai lệch với chuyển động phức tạp.
• Khối nhỏ: tăng độ chính xác, nhưng chi phí tính toán và bit rate cao hơn.
• Độ phân giải cao của vector: cải thiện chất lượng, tăng độ phức tạp.

Thuật toán tìm kiếm chuyển động

Ước lượng chuyển động yêu cầu tìm kiếm khối tương đồng nhất trong một vùng tìm kiếm, và đây là bước tiêu tốn nhiều tài nguyên tính toán nhất trong bộ mã hóa video. Thuật toán tìm kiếm toàn phần kiểm tra tất cả các vị trí khả dĩ trong vùng tìm kiếm, cho kết quả tối ưu nhưng có độ phức tạp rất cao.

Để giảm chi phí, nhiều thuật toán tìm kiếm gần đúng đã được phát triển. Các thuật toán này khai thác đặc tính trơn của trường chuyển động, giả định rằng chuyển động của các khối lân cận thường tương tự nhau. Nhờ đó, không gian tìm kiếm được thu hẹp đáng kể.

Một số thuật toán phổ biến bao gồm:

• Tìm kiếm ba bước (Three-Step Search): giảm dần kích thước bước tìm kiếm.
• Tìm kiếm kim cương (Diamond Search): sử dụng mẫu tìm kiếm hình kim cương.
• Tìm kiếm lục giác (Hexagon Search): cân bằng tốt giữa tốc độ và độ chính xác.

Phân tích chi tiết các thuật toán này có thể tham khảo tại IEEE Xplore, nơi tập hợp nhiều công trình nghiên cứu đánh giá hiệu năng và độ phức tạp của từng phương pháp.

Ứng dụng của bù chuyển động ngoài nén video

Mặc dù được biết đến nhiều nhất trong nén video, bù chuyển động còn là thành phần quan trọng trong nhiều ứng dụng khác của xử lý ảnh và thị giác máy tính. Trong ổn định video, các vector chuyển động được sử dụng để ước lượng chuyển động của camera và bù trừ rung lắc nhằm tạo ra chuỗi hình ảnh mượt hơn.

Trong lĩnh vực theo dõi đối tượng, bù chuyển động hỗ trợ dự đoán vị trí tiếp theo của vật thể dựa trên quỹ đạo chuyển động đã quan sát được. Cách tiếp cận này được sử dụng trong giám sát an ninh, xe tự hành và phân tích hành vi.

Ngoài ra, bù chuyển động còn được ứng dụng trong:

• Tăng cường chất lượng video độ phân giải thấp.
• Dự đoán khung hình trong truyền phát video thời gian thực.
• Xử lý video y sinh và ảnh vệ tinh.

Các tổng quan ứng dụng có thể tham khảo tại ScienceDirect, đặc biệt trong các tạp chí về xử lý tín hiệu và thị giác máy tính.

Hạn chế và thách thức của bù chuyển động

Bù chuyển động dựa trên các giả định đơn giản về chuyển động, chủ yếu là chuyển động tịnh tiến và đồng nhất trong mỗi khối. Trong các cảnh có biến dạng mạnh, chuyển động phi tuyến hoặc che khuất, các giả định này không còn phù hợp và dẫn đến sai số dự đoán lớn.

Những sai số này có thể biểu hiện dưới dạng nhiễu khối, bóng mờ hoặc biến dạng hình ảnh, đặc biệt khi bit rate thấp. Ngoài ra, việc tăng kích thước vùng tìm kiếm hoặc giảm kích thước khối để cải thiện độ chính xác sẽ làm tăng đáng kể độ phức tạp tính toán.

Một thách thức khác là độ trễ trong các hệ thống thời gian thực. Ước lượng và bù chuyển động yêu cầu nhiều phép tính, đòi hỏi phần cứng chuyên dụng hoặc các kỹ thuật tối ưu hóa mạnh mẽ để đáp ứng yêu cầu thời gian.

Xu hướng nghiên cứu và phát triển hiện nay

Nghiên cứu gần đây tập trung vào việc kết hợp bù chuyển động truyền thống với các phương pháp học sâu. Thay vì sử dụng các hàm chi phí thủ công, mạng nơ-ron có thể học trực tiếp đặc trưng chuyển động từ dữ liệu video lớn.

Các mô hình học sâu cho phép mô tả chuyển động phức tạp hơn, bao gồm biến dạng, chuyển động không đồng nhất và tương tác giữa nhiều đối tượng. Điều này đặc biệt quan trọng đối với video độ phân giải cao, video 360 độ và các ứng dụng thực tế ảo.

Song song với đó, các chuẩn nén video thế hệ mới vẫn tiếp tục cải tiến bù chuyển động truyền thống, tối ưu hóa cấu trúc khối, độ phân giải vector và cơ chế dự đoán đa khung nhằm đạt hiệu quả nén cao hơn với chi phí chấp nhận được.

Tài liệu tham khảo

• Richardson, I. E. G. Video Codec Design. Wiley, 2002.
• Wiegand, T., Sullivan, G. J., Bjøntegaard, G., & Luthra, A. “Overview of the H.264/AVC Video Coding Standard.” IEEE Transactions on Circuits and Systems for Video Technology, 2003.
• Sullivan, G. J., Ohm, J. R., Han, W.-J., & Wiegand, T. “Overview of the High Efficiency Video Coding (HEVC) Standard.” IEEE Transactions on Circuits and Systems for Video Technology, 2012.
• Tourapis, A. M., et al. “Highly Efficient Predictive Video Coding Using Motion Compensation.” Proceedings of SPIE, 2005.